An Huy được xem là một trong những nơi khởi nguyên của dân tộc Trung Hoa, vào thời đại đồ đá cũ cách nay khoảng từ 2 đến 3 triệu năm trước, trên địa bàn An Huy ngày nay đã xuất hiện người Hòa Huyện Viên (和县猿人) có khả năng đứng thẳng người khi di chuyển. Vào cuối những năm 1970 và đầu 1980, tại di chỉ Tiết Gia Cương (薛家岗遗址) thuộc huyện Tiềm Sơn của An Huy đã phát hiện được dấu tích về hoạt động của loài người thời đại đồ đá mới cách nay khoảng từ 5 đến 6 nghìn năm, sau đó tại nhiều nơi trên địa bàn An Huy cũng đã phát hiện được những di chỉ văn hóa thời đại đồ đá mới.[2]

Quân chủ khai quốc nhà Thương là Thành Thang đã từng định đô tại đất "Bạc", nay thuộc Bạc Châu ở bắc bộ An Huy.[3] Khi đó, đại bộ phận cư dân tại An Huy không phải là tộc Hoa Hạ, song về sau những người Đông Di và Sơn Việt này đã dần dần đồng hóa thành tộc Hán.

Thời nhà Chu, trên địa bàn An Huy có nhiều nước chư hầu như Chung Li (钟离), Lục (六), Anh (英), Thư (舒), Thư Dung (舒庸), Thư Cưu (舒鸠), Thư Lục (舒蓼), Sào (巢), Từ (徐), Tiêu (萧) và Hoản (皖). Các nước nhỏ này dần bị hai thế lực lớn mạnh là nước Ngô và nước Sở thôn tính. Đến cuối thời Chiến Quốc, kinh đô Dĩnh (nay thuộc tỉnh Hồ Bắc) của nước Sở bị nước Tần công chiếm, vì thế Sở đã phải thiên đô đến Thọ Xuân (nay thuộc Thọ huyện của An Huy) vào năm 241 TCN. Đến năm 224 TCN, đại tướng nước Sở là Hạng Yên (项燕) đã bại trận trước 60 vạn đại quân Tần dưới sự chỉ huy của Vương Tiễn; đến năm 223 TCN, Thọ Xuân rơi vào tay Tần, nước Sở cũng diệt vong. Năm 221 TCN, Tần hoàn thành việc chinh phục sáu nước, thống nhất Trung Hoa.

Thời Tần, đại bộ phận khu vực An Huy thuộc Cửu Giang quận, đầu phía bắc thuộc Tứ Thủy quận và Nãng quận. Trong chiến tranh Hán-Sở, Hạng Vũ đã thua Lưu Bang trong trận Cai Hạ tại vùng thuộc huyện Cổ Trấn ngày nay, sau đó Hạng Vũ đã tự vẫn tại Ô Giang (nay thuộc Hòa huyện).

Thời Hán Vũ Đế, do áp lực từ nước Mân Việt, toàn bộ nước Đông Âu đã di dời từ nam bộ Chiết Giang đến Lư Giang quận (nay thuộc khu vực Thư Thành). Những năm cuối thời Hán, Thọ Xuân trở thành căn cứ của quân phiệt Viên Thuật. Năm 197, Viên Thuật chính thức xưng đế, tự xưng là Trọng Gia, đóng đô ở Thọ Xuân, song vùng đất kiểm soát của ông khi đó chỉ có 2 quận Cửu Giang và Lư Giang. Sau khi bị Lưu Bị đánh bại, Viện Thuật bị bệnh mất. Sau đó, Thọ Xuân về tay quân phiệt Tào Tháo.

Đến thời Ngũ Hồ thập lục quốc, các sắc dân du mục xâm nhập Hoa Bắc và lập nên các chính quyền khác nhau, còn ở phương Nam vẫn do các triều đại của người Hán cai quản. Trong khoảng thời gian này, bắc bộ An Huy trở thành tiền tuyến đối đầu giữa miền Nam và miền Bắc, ngọn lửa chiến tranh liên tục bùng lên. Năm 383, đã xảy ra đại chiến Phì Thủy giữa Tiền Tần và Đông Tấn, Phì Thủy được cho là con sông cổ chảy qua vùng mà nay là Lục An.[4]

Những năm Khai Hoàng chi trị thời Tùy Văn Đế, kinh tế khu vực An Huy khôi phục và đạt được trình độ rất cao. Sau khi trải qua thời gian hỗn chiến cuối thời Tùy, đến khi Nhà Đường thống nhất Trung Hoa, An Huy lại có được hòa bình. Trong loạn An Sử, khu vực Hoài Hà ở bắc bộ An Huy đã bị chiến tranh tàn phá. Năm 875, tức cuối thời Nhà Đường, đã xảy ra khởi nghĩa Vương Tiên Chi, Hoàng Sào, quân nổi dậy từ Hà Nam đã sang Hòa huyện của An Huy rồi vượt sông Trường Giang để tới Hoản Nam, sau đó tiến đến tận Phúc Kiến, Quảng Đông, sau đó lại qua An Huy để đánh Trường An.

Thời Ngũ Đại Thập Quốc, nam bộ An Huy thuộc nước Ngô. Lý Biện (Nam Đường Liệt Tổ) sau đó đã đoạt lấy quyền kiểm soát nước Ngô vào năm 937 và lập ra nước Nam Đường. Khi đó, bắc bộ An Huy thuộc quyền kiểm soát của Ngũ Đại.

Cuối thời Bắc Tống, đã xuất hiện nhà Kim của người Nữ Chân ở phương Bắc. Sau năm 1127, vùng bắc bộ Hoài Hà của An Huy trở thành đất của triều Kim, An Huy một lần nữa trở thành nơi đối đầu giữa thế lực hai miền: phía bắc là Kim và phía nam là Nam Tống. Năm 1161, Kim Hải Lăng vương Hoàn Nhan Lượng xuất binh phạt Tống, song đã thất bại trong đại chiến Thái Thạch ở vùng nay thuộc Mã An Sơn. Năm 1234, Kim bị đế quốc Mông Cổ tiêu diệt. Năm 1276, quân Mông Cố công chiếm kinh thành Hàng Châu của Nam Tống, từ đó toàn bộ An Huy quy thuộc Nhà Nguyên.

Thời Minh

Sau khi Chu Nguyên Chương sáng lập Nhà Minh, do ban đầu triều đại này định đô ở Nam Kinh, khu vực hai tỉnh An Huy và Giang Tô hiện nay do Lục bộ của triều đình Trung ương trực tiếp quản lý, gọi là "Trực Lệ". Minh Thái Tổ định quê hương Phượng Dương của mình là "Trung Đô" và đã từng tính đến chuyện thiên đô về đây song sau đó đã từ bỏ kế hoạch và chỉ xây dựng lăng mộ tổ tiên và một phần tường thành. Thời Minh, tại địa phận nay là An Huy có tổng cộng 7 phủ, trong đó 4 phủ ở phía nam Trường Giang: Huy Châu phủ, Ninh Quốc phủ, Thái Bình phủ, Trì Châu phủ; 2 phủ ở bờ bắc Trường Giang: An Khánh phủ, Lư Châu phủ; còn lưu vực Hoài Hà của An Huy thì chỉ có một phủ là Phượng Dương phủ. Thời Nhà Minh, Vu Hồ huyện tại bờ nam Trường Giang đã phát triển thành một trung tâm kinh tế mới. Những năm Vĩnh Lạc thời Minh Thành Tổ, kinh đô được di dời về Bắc Kinh, khu vực Trực Lệ trước đó được đổi tên thành Nam Trực Lệ.

Năm 1635, Lý Tự Thành đã công hãm Phượng Dương, đào mộ tổ tiên của hoàng thất triều Minh, phá hủy "chùa Hoàng Giác", ngôi chùa mà Chu Nguyên Chương đã xuất gia.

Thời Thanh

Năm 1645, quân Thanh công chiếm Nam Kinh, sau đó đã đổi Nam Trực Lệ thành Giang Nam tỉnh; đến năm 1667, triều Thanh lại phân Giang Nam tỉnh thành Giang Tô và An Huy. Tỉnh hội An Huy được thiết lập tại An Khánh, là nơi đóng trụ sở của An Huy tuần phủ và An Huy án sát sứ. Quản lý dân chính tại An Huy là phận sự của Giang Nam tả bố chánh sứ, trường kỳ trú tại Giang Ninh phủ (Nam Kinh), đến năm 1760 (năm Càn Long thứ 25), thì di dời đến An Khánh. Ranh giới An Huy từ đó đến nay ít có thay đổi.

Thời cuối Nhà Thanh, Thái Bình Thiên Quốc đã định đô tại Nam Kinh, khi đó nam An Huy là căn cứ lương thực và quân sự chủ yếu của cuộc khởi nghĩa này. Tương quân của Tăng Quốc Phiên và quân Thái Bình của Trần Ngọc Thành đã giao chiến rất dữ dội, đại bộ phận cư dân nam An Huy đã thiệt mạng hoặc chạy trốn, kinh tế địa phương bị ảnh hưởng nghiêm trọng. Sau chiến tranh, cư dân các vùng Hà Nam và Hồ Bắc đã di cư đến Hoản Nam, vì thế văn hóa tập tục khu vực này đã có nhiều biến đổi. Cũng trong thời kỳ đó, Niệp quân hoành hành ở khu vực bắc An Huy. Lý Hồng Chương đã chiêu mộ Hoài quân tại vùng phụ cận Hợp Phì tiến đến vùng Giang Chiết tác chiến với quân Thái Bình. Sau khởi nghĩa Thái Bình Thiên Quốc, Hoài quân trở thành một trong những lực lượng trọng yếu của triều Thanh.

Thời Trung Hoa Dân Quốc

Sau khi thành lập Trung Hoa Dân Quốc, đường sắt Tân-Phố đã thông tuyến vào năm 1912, khiến Bạng Phụ khởi sắc. Năm 1912, Bách Văn Uý trở thành người cai quản An Huy, kế tục ông ta là Nghê Tự Xung (倪嗣冲) vào năm 1913, Trương Văn Sinh (张文生) vào năm 1920, Mã Liên Giáp (马联甲) vào năm 1922, Lã Điệu Nguyên (吕调元) vào năm 1923, Khương Đăng Tuyển (姜登选) vào năm 1924, Trần Điệu Nguyên (陈调元) vào năm 1925. Đến năm 1926, Trần Điệu Nguyên đã quy thuận Quốc Dân cách mạng quân trong Bắc phạt. Đến năm 1937, trên địa bàn An Huy bùng phát các trận chiến trong chiến tranh Trung-Nhật, An Huy trở thành nơi đan xen kiểm soát giữa bốn thế lực là quân Nhật, chính quyền Uông Tinh Vệ, Quốc quân và Cộng sản đảng. Năm 1940, tại An Huy đã xảy ra xung đột Quốc-Cộng, gọi là sự biến Hoản Nam. Năm 1946, sau khi Nhật Bản đầu hàng, chính phủ Quốc dân đã chuyển thủ phủ của An Huy từ An Khánh đến Hợp Phì. Từ năm 1948 đến 1949, An Huy là một chiến trường chủ yếu trong hội chiến Từ-Bạng hay còn gọi là chiến dịch Hoài-Hải trong nội chiến Quốc-Cộng.

Thời Cộng hòa Nhân dân Trung Hoa

Sau khi Cộng hòa Nhân dân Trung Hoa thành lập vào năm 1949, An Huy bị phân thành hai công thự hành chính cấp tỉnh là Hoản Bắc và Hoản Nam, lấy Trường Giang làm ranh giới, song đến năm 1952 lại hợp lại như cũ. Địa giới An Huy sau năm 1949 cũng có điều chỉnh nhỏ: huyện Vụ Nguyên được trao cho tỉnh Giang Tây, hai huyện Hu Dị và Tứ Hồng được trao cho tỉnh Giang Tô; ngược lại, hai huyện Tứ và Nãng Sơn vốn thuộc Giang Tô thì lại được trao cho An Huy.

Trong thời kỳ Nạn đói lớn 1959-1961, số người tử vong vì nguyên nhân không bình thường tại tỉnh An Huy là 6,33 triệu người, chiếm 18,37% trong tổng dân số 34,46 triệu dân của tỉnh khi đó, đạt tỷ lệ cao nhất trong số các tỉnh tại Trung Quốc.[5] Ngày 24 tháng 11 năm 1978, nông dân ở thôn Tiểu Cương tại Phượng Dương, An Huy đã ký một thỏa thuận bí mật, chia ruộng đất của thôn cho các hộ nông dân nhận khoán. Hành vi này vi phạm pháp luật và chính sách Trung Quốc lúc đó, nhưng cuối cùng, hành động này đã được Chính phủ Trung Quốc chấp nhận và tích cực nhân rộng, trở thành một mốc lịch sử trong quá trình cải cách mở cửa của Trung Quốc.[6] Trong cuốn sách China Road năm 2007, tác giả Rob Gifford đã ghi rằng người Trung Quốc xem An Huy là một "nông nghiệp đại tỉnh" (农业大省). Theo Gifford thì đây là một uyển ngữ để chỉ một khu vực "rất nghèo" và mọi người đề cập đến An Huy như là "Appalachia của Trung Quốc."[7]